Knowledge transfer in deep reinforcement learning

Tesis presentada en cumplimentación de los requisitos del Máster en Ingeniería Computacional y Sistemas Inteligentes en el Grupo de Robótica y Sistemas Autónomos. Departamento de Ciencias de la Computación e Inteligencia Artificial con la colaboración de Fundación Deusto (DeustoTech).El auge del aprendizaje automático como método para generar una Inteligencia Ar- tificial (IA), está generando un campo de investigación en el que se están poniendo en práctica varios conceptos ya formulados en los años 40 y 60 y, que antaño, eran imposibles de realizar debido a las implicaciones tecnológicas que eran necesarias. Hoy en día, se dispone de un nivel de potencia en hardware que permite poner en práctica los postulados que intentaban dar vida inteligente a una máquina. El inte- rés y la motivación de crear esa vida se está convirtiendo en un motor clave en el desarrollo de una sociedad tecnológica más avanzada. La potencia alcanzada por los procesadores gráficos (GPU) ha hecho viable crear redes neuronales complejas que permiten simular una inteligencia viva, tan viva como lo pudiera ser una per- sona. Esta inteligencia, es capaz de decidir una serie de acciones en un contexto determinado y aprender a mejorar para ser más eficiente y adaptable a los cambios. Dentro de las distintas aproximaciones desarrolladas, podemos encontrar dos de ellas que hoy en día, están siendo muy relevantes y ambiciosas: 1) el llamado reinfor- cement learning 1 que busca generar una máquina inteligente a través de un sistema de recompensas que otorga ciertos puntos a partir de las acciones que realiza en un entorno; 2) el llamado deep learning 2 que genera un sistema de redes neuronales pro- fundas para entrenar modelos que son capaces de estudiar cada pixel de una panta- lla para saber qué puede existir en una región determinada. Haciendo uso de estos dos conceptos, aparece una nueva aproximación llamada deep reinforcement learning 3 que busca juntar las bondades de las redes neuronales profundas con un sistema de recompensa que haga que una IA sea capaz de tomar las mejores decisiones posibles en un entorno determinado. En esta Tesis Fin de Máster se ha llevado a cabo un estudio por el cual, se ha experimentado si las redes neuronales profundas son capaces o no de transferir el conocimiento adquirido mediante un entrenamiento previo. Para demostrar si éste hecho es o no factible, se ha creado un agente inteligente capaz de jugar a un video- juego usando únicamente como entrada de datos los píxeles de una pantalla. Con esta premisa, se ha puesto a prueba la experiencia adquirida por el agente en otro juego completamente distinto para observar cuál es su nivel de adaptabilidad, y si la experiencia previa adquirida, juega un papel fundamental a la hora de aprender a jugar a un video-juego distinto. 1 https://www.cs.ubc.ca/murphyk/Bayes/pomdp.html 2 http://deeplearning.net/ 3 https://deepmind.com/blog/deep-reinforcement-learning

Knowledge transfer in deep reinforcement learning

Tesis presentada en cumplimentación de los requisitos del Máster en Ingeniería Computacional y Sistemas Inteligentes en el Grupo de Robótica y Sistemas Autónomos. Departamento de Ciencias de la Computación e Inteligencia Artificial con la colaboración de Fundación Deusto (DeustoTech).El auge del aprendizaje automático como método para generar una Inteligencia Ar- tificial (IA), está generando un campo de investigación en el que se están poniendo en práctica varios conceptos ya formulados en los años 40 y 60 y, que antaño, eran imposibles de realizar debido a las implicaciones tecnológicas que eran necesarias. Hoy en día, se dispone de un nivel de potencia en hardware que permite poner en práctica los postulados que intentaban dar vida inteligente a una máquina. El inte- rés y la motivación de crear esa vida se está convirtiendo en un motor clave en el desarrollo de una sociedad tecnológica más avanzada. La potencia alcanzada por los procesadores gráficos (GPU) ha hecho viable crear redes neuronales complejas que permiten simular una inteligencia viva, tan viva como lo pudiera ser una per- sona. Esta inteligencia, es capaz de decidir una serie de acciones en un contexto determinado y aprender a mejorar para ser más eficiente y adaptable a los cambios. Dentro de las distintas aproximaciones desarrolladas, podemos encontrar dos de ellas que hoy en día, están siendo muy relevantes y ambiciosas: 1) el llamado reinfor- cement learning 1 que busca generar una máquina inteligente a través de un sistema de recompensas que otorga ciertos puntos a partir de las acciones que realiza en un entorno; 2) el llamado deep learning 2 que genera un sistema de redes neuronales pro- fundas para entrenar modelos que son capaces de estudiar cada pixel de una panta- lla para saber qué puede existir en una región determinada. Haciendo uso de estos dos conceptos, aparece una nueva aproximación llamada deep reinforcement learning 3 que busca juntar las bondades de las redes neuronales profundas con un sistema de recompensa que haga que una IA sea capaz de tomar las mejores decisiones posibles en un entorno determinado. En esta Tesis Fin de Máster se ha llevado a cabo un estudio por el cual, se ha experimentado si las redes neuronales profundas son capaces o no de transferir el conocimiento adquirido mediante un entrenamiento previo. Para demostrar si éste hecho es o no factible, se ha creado un agente inteligente capaz de jugar a un video- juego usando únicamente como entrada de datos los píxeles de una pantalla. Con esta premisa, se ha puesto a prueba la experiencia adquirida por el agente en otro juego completamente distinto para observar cuál es su nivel de adaptabilidad, y si la experiencia previa adquirida, juega un papel fundamental a la hora de aprender a jugar a un video-juego distinto. 1 https://www.cs.ubc.ca/murphyk/Bayes/pomdp.html 2 http://deeplearning.net/ 3 https://deepmind.com/blog/deep-reinforcement-learning

A modelling approach to optimal imperfect maintenance of repairable equipment with multiple failure modes

Most of the existing works on optimal imperfect maintenance activities of a repairable equipment with independent components consider a single model for equipment behaviour. In addition, it is assumed that all the components of the equipment share the same model and the same maintenance intervals and that effectiveness of maintenance is known. In this paper we take a different approach. In order to formalize the uncertainty on the occurrence of failures and on the effect of maintenance activities, we consider, for each component, a class of candidate models. These models are obtained by combining failure rate models with imperfect maintenance models. The best model, that might be different for the different components, is then selected. All the parameters are assumed to be unknown and are jointly estimated via maximum likelihood. Model selection is performed, separately for each component, using standard selection criteria that take the problem of over-parametrization into account. The selected models are used to derive the cost per time unit and the average reliability of the equipment, the objective functions of a Multi-Objective Optimization Problem with maintenance intervals of each single component as decision variables. The proposed procedure is illustrated using a real data example.This work was a collaborative effort and was partly supported by the Conselleria d’Educació, Investigació, Cultura i Sport (Generalitat de la Comunitat Valenciana, Spain) under grant GV/2017/015

Smart Building: The Tecnalia KUBIK Use Case

Buildings have long been equipped with sensors and actuators to automate their control. Smart buildings are those whose facilities and systems (air condition ing, heating, lighting, access control systems, etc.) allow integrated and automated building management and control to increase energy efficiency, security, and usabil ity. With the democratization of the Internet of Things (IoT), the number of sensors and actuators is constantly increasing, giving ways to new applications. The reduc tion of sensors and actuators cost is driving a digital shift in the building sector.EUROPEAN COMMISSION H2020, 780351, ENAC

A Generalization Performance Study Using Deep Learning Networks in Embedded Systems

Deep learning techniques are being increasingly used in the scientific community as a consequence of the high computational capacity of current systems and the increase in the amount of data available as a result of the digitalisation of society in general and the industrial world in particular. In addition, the immersion of the field of edge computing, which focuses on integrating artificial intelligence as close as possible to the client, makes it possible to implement systems that act in real time without the need to transfer all of the data to centralised servers. The combination of these two concepts can lead to systems with the capacity to make correct decisions and act based on them immediately and in situ. Despite this, the low capacity of embedded systems greatly hinders this integration, so the possibility of being able to integrate them into a wide range of micro-controllers can be a great advantage. This paper contributes with the generation of an environment based on Mbed OS and TensorFlow Lite to be embedded in any general purpose embedded system, allowing the introduction of deep learning architectures. The experiments herein prove that the proposed system is competitive if compared to other commercial systems.This research was supported by Tecnalia, Basque Research, and the ERDF/Spanish Ministry of Science, Innovation and Universities–National Research Agency/PhysComp project under Grant Number TIN2017-85409-P, in collaboration with the University of the Basque Country

A critical analysis of an IoT—aware AAL system for elderly monitoring

Abstract A growing number of elderly people (65+ years old) are affected by particular conditions, such as Mild Cognitive Impairment (MCI) and frailty, which are characterized by a gradual cognitive and physical decline. Early symptoms may spread across years and often they are noticed only at late stages, when the outcomes remain irrevocable and require costly intervention plans. Therefore, the clinical utility of early detecting these conditions is of substantial importance in order to avoid hospitalization and lessen the socio-economic costs of caring, while it may also significantly improve elderly people's quality of life. This work deals with a critical performance analysis of an Internet of Things aware Ambient Assisted Living (AAL) system for elderly monitoring. The analysis is focused on three main system components: (i) the City-wide data capturing layer, (ii) the Cloud-based centralized data management repository, and (iii) the risk analysis and prediction module. Each module can provide different operating modes, therefore the critical analysis aims at defining which are the best solutions according to context's needs. The proposed system architecture is used by the H2020 City4Age project to support geriatricians for the early detection of MCI and frailty conditions

A Single Nucleotide Polymorphism in the Il17ra Promoter Is Associated with Functional Severity of Ankylosing Spondylitis

The aim of this study was to identify new genetic variants associated with the severity of ankylosing spondylitis (AS). We sequenced the exome of eight patients diagnosed with AS, selected on the basis of the severity of their clinical parameters. We identified 27 variants in exons and regulatory regions. The contribution of candidate variants found to AS severity was validated by genotyping two Spanish cohorts consisting of 180 cases/300 controls and 419 cases/656 controls. Relationships of SNPs and clinical variables with the Bath Ankylosing Spondylitis Disease Activity and Functional Indices BASDAI and BASFI were analyzed. BASFI was standardized by adjusting for the duration of the disease since the appearance of the first symptoms. Refining the analysis of SNPs in the two cohorts, we found that the rs4819554 minor allele G in the promoter of the IL17RA gene was associated with AS (p<0.005). This variant was also associated with the BASFI score. Classifying AS patients by the severity of their functional status with respect to BASFI/disease duration of the 60th, 65th, 70th and 75th percentiles, we found the association increased from p60 to p75 (cohort 1: p<0.05 to p<0.01; cohort 2: p<0.01 to p<0.005). Our findings indicate a genetic role for the IL17/ILRA axis in the development of severe forms of AS

Proyecto Akeko: sistema de gestión de accesos de estudiantes en servidores

El propósito fundamental de éste trabajo fin de grado es la creación de una herramienta que permita a un profesor poder gestionar los distintos servicios a los que puede acceder un alumno. Entendemos como servicios, aquellas herramientas que permiten desarrollar de forma efectiva las competencias necesarias en cada asignatura. Por ejemplo, servicios como bases de datos “MySQL” o servicios de control de versiones como “GIT”. Éste trabajo fin de grado ha consistido en la consecución del estudio de 3 lenguajes de programación diferentes, del aprendizaje de nuevas formas distintas de programar, de saber hacer una búsqueda de información, de escuchar al usuario para obtener una mejor adaptación visual, de encontrar los diferentes caminos que llevan a una solución, de entender que cada lenguaje tiene su forma de pensar y de hacer y sobre todo, de la dificultad que acarrea integrar una aplicación compleja en varios entornos operativos con distintos tipos de arquitecturas

Proyecto Akeko: sistema de gestión de accesos de estudiantes en servidores

El propósito fundamental de éste trabajo fin de grado es la creación de una herramienta que permita a un profesor poder gestionar los distintos servicios a los que puede acceder un alumno. Entendemos como servicios, aquellas herramientas que permiten desarrollar de forma efectiva las competencias necesarias en cada asignatura. Por ejemplo, servicios como bases de datos “MySQL” o servicios de control de versiones como “GIT”. Éste trabajo fin de grado ha consistido en la consecución del estudio de 3 lenguajes de programación diferentes, del aprendizaje de nuevas formas distintas de programar, de saber hacer una búsqueda de información, de escuchar al usuario para obtener una mejor adaptación visual, de encontrar los diferentes caminos que llevan a una solución, de entender que cada lenguaje tiene su forma de pensar y de hacer y sobre todo, de la dificultad que acarrea integrar una aplicación compleja en varios entornos operativos con distintos tipos de arquitecturas

Knowledge transfer in deep reinforcement learning

Tesis presentada en cumplimentación de los requisitos del Máster en Ingeniería Computacional y Sistemas Inteligentes en el Grupo de Robótica y Sistemas Autónomos. Departamento de Ciencias de la Computación e Inteligencia Artificial con la colaboración de Fundación Deusto (DeustoTech).El auge del aprendizaje automático como método para generar una Inteligencia Ar- tificial (IA), está generando un campo de investigación en el que se están poniendo en práctica varios conceptos ya formulados en los años 40 y 60 y, que antaño, eran imposibles de realizar debido a las implicaciones tecnológicas que eran necesarias. Hoy en día, se dispone de un nivel de potencia en hardware que permite poner en práctica los postulados que intentaban dar vida inteligente a una máquina. El inte- rés y la motivación de crear esa vida se está convirtiendo en un motor clave en el desarrollo de una sociedad tecnológica más avanzada. La potencia alcanzada por los procesadores gráficos (GPU) ha hecho viable crear redes neuronales complejas que permiten simular una inteligencia viva, tan viva como lo pudiera ser una per- sona. Esta inteligencia, es capaz de decidir una serie de acciones en un contexto determinado y aprender a mejorar para ser más eficiente y adaptable a los cambios. Dentro de las distintas aproximaciones desarrolladas, podemos encontrar dos de ellas que hoy en día, están siendo muy relevantes y ambiciosas: 1) el llamado reinfor- cement learning 1 que busca generar una máquina inteligente a través de un sistema de recompensas que otorga ciertos puntos a partir de las acciones que realiza en un entorno; 2) el llamado deep learning 2 que genera un sistema de redes neuronales pro- fundas para entrenar modelos que son capaces de estudiar cada pixel de una panta- lla para saber qué puede existir en una región determinada. Haciendo uso de estos dos conceptos, aparece una nueva aproximación llamada deep reinforcement learning 3 que busca juntar las bondades de las redes neuronales profundas con un sistema de recompensa que haga que una IA sea capaz de tomar las mejores decisiones posibles en un entorno determinado. En esta Tesis Fin de Máster se ha llevado a cabo un estudio por el cual, se ha experimentado si las redes neuronales profundas son capaces o no de transferir el conocimiento adquirido mediante un entrenamiento previo. Para demostrar si éste hecho es o no factible, se ha creado un agente inteligente capaz de jugar a un video- juego usando únicamente como entrada de datos los píxeles de una pantalla. Con esta premisa, se ha puesto a prueba la experiencia adquirida por el agente en otro juego completamente distinto para observar cuál es su nivel de adaptabilidad, y si la experiencia previa adquirida, juega un papel fundamental a la hora de aprender a jugar a un video-juego distinto. 1 https://www.cs.ubc.ca/murphyk/Bayes/pomdp.html 2 http://deeplearning.net/ 3 https://deepmind.com/blog/deep-reinforcement-learning